Xã Cao Xá từng hứng trọn trận lụt lịch sử năm 1971.[4]

Làng Vĩnh Mộ ngày xưa có một cây gạo cổ thụ ở ao đình làng Vĩnh Mộ và Vĩnh Mộ có cống 4 cửa chảy ra Sông Hồng, Cầu Sắt.

Nguồn gốc tên gọi của Làng Tề Lễ là lấy theo tên quan được triều đình nhà Đinh phong cho vị tướng ở làng này, cụ ở chức Tề Lễ Đường Thượng Quan, hằng năm rước kiệu tháng 3 đều xướng lên có hai hàng lễ. Vật phẩm tế là xôi nếp đồ từ lúa nếp cấy rẽ ở dệ Đồng Tề và gà luộc chín, gà khi mổ phải không được xước da thịt nào cả. Có Đám rước kiệu đi quanh làng. Đất của Làng Tề Lễ cũng rất lạ, lối vào làng có ba cái cầu, một cầu tre và hai cầu bện đất với đá, mưa đất trôi sụt dân lại nhồi cọc gỗ giữ cầu, cả làng như một cù lao bãi nổi vì con ngòi Tùng chạy vòng quanh, trong ngòi làm đất ở, ngoài ngòi đất trồng cấy.

Một bài báo do nhà Báo Đặng Thiện viết năm 1989, các cụ có tuổi trong làng Tề Lễ kể thì từ Thời vua Đinh dẹp 12 đường loạn mà giữ nước thì vị tướng là Hoàng Định đã bỏ tối theo sáng, rời đất Phong Châu của sứ quân Kiều Công Hãn mà tìm về Hoa Lư cùng Nguyễn Bặc theo chân mệnh Thiên Tử. Sau khi dẹp xong 12 sứ quân, triều Đinh khai quốc Đại Cồ Việt thì cụ Nguyễn Bặc nhận phong Định Quốc Công rồi làm tể tướng triều đình từ năm 968-979 còn cụ Hoàng Định thì từ chức về làm dân thường. Vua Đinh Tiên Hoàng không nỡ xa nên sau này có mời cụ về làm quan rồi sai cả Tể tướng Nguyễn Bặc mời mà cụ không về triều đình, cảm đức Trương Lương, Phạm Lãi [5] nên vua phong cho cụ là Tề Lễ Đường Thượng Quan, lọng, võng về theo và phong đất ở ngay trước thành cũ của Kiều Công Hãn là đất mà cụ đã chọn từ khi theo Tiên Hoàng đánh đông dẹp bắc.

Tề Lễ Đường Thượng Quan là chức quan được phong cho cụ Hoàng Định sau khi cụ từ bỏ làm quan mưu (quân sư)cho Kiều Công Hãn cát cứ Thành Phong Châu mà đi theo (Phò tá) Đinh Tiên Hoàng. Cụ Định có công rất lớn trong việc Đinh Tiên Hoàng thu phục đánh bại các sứ quân trong thời kỳ loạn 12 sứ quân, nguyên quán nghe dân đồn kể ở đất Hưng Hóa nhưng chưa hay hư thực. Khi nghỉ quân ở Ngòi Tùng, Cụ bảo Đất này tốt, dân sống hậu nên tỏ ý khi đất nước thanh bình sẽ tới ở, cũng vì lẽ đó mà đất Mạc Cả đổi thành Tề Lễ theo tên chức quan của cụ, cũng là đất được triều đình Phong thưởng. Đất làng Tề Lễ rộng vậy là do đất phong, chu vi cả đất thổ cư và đất Đồng Tề rộng bằng 1/3 tổng Cao Xá 8 làng gộp lại là vì lẽ ấy. Tề Lễ Đường Thượng Quan được nhân dân thờ trong đình Tề Lễ. Lịch sử các triều đại tuy ban cho nhiều sắc phong nhưng dân làng Tề cạy thế đất rộng, cây nhiều mà biếng học nên các văn tích dần dần mai một ít người biết đến, tuy Đình Tề Lễ có nhiều sắc phong nhưng đều không truyền ghi lại được, sau bị làng khác cướp đất không giữ được nên lại sẵn nết cũ bỏ đình bỏ chùa mà theo tây xây nhà đạo ki tô, may mà còn một số nhà không theo ki tô giáo phụng sự tổ tiên, giữ được cho danh tiếng người xưa khỏi hoạ mai một. Ngày giỗ của cụ Hoàng Định là Năm thứ 5 niên hiệu Thiên Phúc triều Tiền Lê, ngày 25 tháng 03 năm Giáp Thân 984. Nhắc lại là Tổng Cao Xá chỉ có duy nhất cụ Hoàng Định là người có công lao lớn với lịch sử buổi đầu độc lập sau thời kỳ nghìn năm giặc phương Bắc đô hộ và công lao được hết thảy triều đình phong kiến Việt Nam ghi nhân. Tương truyền Đất Đồng Tề trước thời Hậu Lê không phải nộp tô nhưng chỉ có mấy họ gốc từ khi lập Làng trong đất Làng Tề Lễ còn lại thì không được cho dân nơi khác tới ở để khỏi nhiễu đất miễn thuế quan. Nước mình có chiến tranh nhiều, họ Hoàng đơn truyền nhiều đời nên lâu dần họ cụ Hoàng Định không còn đinh nào nữa. Ân điển phong kiến đến triều Mạc là hết.

Làng Phù Phong (tên chữ: Phong - Gió, Phù - Nổi không phải là Phong - ghẻ lở) lở sông không ở được phải vào trong kè đê, Làng Tề nhường một nửa đồng Tề cho 3 khu gò, Gò Thượng,gò Hạ làm đất ở, Gò Thiện làm điền. Ngày nay Dân Phù Phong định cư tại gò Thượng gọi là Phung Thượng, Dân Phù Phong định cư tại gò Hạ gọi là Phung Hạ.

Xã Cao Xá đứng đầu bởi Đảng bộ xã Cao Xá và chính quyền địa phương trong nhiều năm liền luôn là ngọn cờ đầu của Huyện Lâm Thao.

Xã Cao Xá đã đạt danh hiệu "Xã đạt chuẩn Nông thôn mới" vào năm 2014. Đó là thành công nỗ lực rất lớn của Đảng bộ và nhân dân Cao Xá.